Language Models are Unsupervised Multitask Learners (2019 论文)

概述

GPT-2 论文，展示大规模语言模型具备零样本学习能力，可以在未见过的任务上泛化。

关键内容

1. 零样本学习：GPT-2 在 15 亿参数规模下，无需微调即可通过自然语言提示完成翻译、问答、摘要等任务。
2. 模型规模：相比 GPT-1 的 1.17 亿参数，GPT-2 扩大到 15 亿，展示了规模扩展对能力的显著影响。
3. 安全考量：OpenAI 因担心滥用风险，最初未完全开源 GPT-2，引发 AI 安全讨论。

来源

• ai_papers_timeline.md — 2019 年时间线条目

相关

• Alec Radford — authored_by
• GPT 系列 — extends
• 零样本学习 — demonstrated